Khi Đường Cao Tông cùng Võ Tắc Thiên đến Chiêu lăng tế bái Đường Thái Tông, khoảng năm Vĩnh Huy thứ 5 (654), ngày 17 tháng 12 (âm lịch), mùa đông, có Hàn quốc phu nhân Võ thị là chị ruột của Võ hậu đi theo hộ giá. Khi đó phu nhân đã lén lút em gái qua lại với nhà vua, và có thai. Lý Hiền sau đó được sinh ra trên lộ trình[1].

Năm Vĩnh Huy thứ 6 (655), ông được phong Lộ vương (潞王). Năm Hiển Khánh nguyên niên (656), Thái tử Lý Trung bị phế truất, con trưởng của Võ hậu là Lý Hoằng kế vị Thái tử, Lộ vương Lý Hiền lại kiêm thêm Thứ sử Kỳ Châu, Ung Châu Châu mục, Đô đốc U Châu, lúc chỉ 2 tuổi.

Khi còn nhỏ, Lý Hiền tinh thông cổ kim, chăm chỉ đọc sách, là một người rất thông minh và quyết đoán, từng được Cao Tông ở trước mặt Lý Thế Tích tán thưởng không ngừng vì tuổi trẻ tài cao, nói: "Đứa nhỏ này đã đọc Thượng thư, Lễ ký, Luận ngữ, ngâm nga thơ cổ phú mười mấy thiên, vừa thấy là có thể lĩnh hội, cũng sẽ không quên. Ta từng kêu nó đọc 《Luận ngữ》, nó đọc được ‘hiền hiền dịch sắc’ 贤贤易色, luôn mãi đọc. Trẫm hỏi vì cái gì mà lặp lại câu đó mãi thế, nó nói chính mình đặc biệt yêu thích những lời này, thế mới biết đứa nhỏ này thông minh xuất từ thiên tính"[2][3].

Năm Long Sóc nguyên niên (661), khi được 7 tuổi, được đổi làm Phái vương (沛王), kiêm Đô đốc Dương châu[4]. Năm Long Sóc thứ 2 (662), kiêm Đại đô đốc Dương Châu. Năm đầu Càn Phong (666), khi 11 tuổi, lại tiến phong làm Tả Vũ vệ Đại tướng quân (左武衛大將軍), Ung châu mục. Cũng trong năm đó, Lý Hiền chiêu mộ một trong Đường sơ Tứ kiệt là Vương Bột làm "Vương phủ Tu soạn" (王府修撰), thập phần coi trọng. Hai năm sau, Lý Hiền cùng với em trai là Anh Vương Lý Hiển chơi đá gà, Vương Bột trợ hứng mà viết 《Hịch Anh vương kê - 檄英王鸡》. Đường Cao Tông biết được sau giận dữ, cho rằng Vương Bột này sẽ châm ngòi khiến 2 vương tranh chấp, nên trục xuất Vương Bột khỏi vương phủ.

Năm Hàm Hanh thứ 3 (672), khi 18 tuổi, lại đổi làm Ung vương (雍王), Đại đô đốc Lương Châu, Ung Châu mục, lại kiêm Hữu Vệ đại tướng quân (右衛大將軍), cải tên thành Lý Đức (李德), hai năm sau trở về tên cũ Lý Hiền[5].